Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning
同运不同择：面向智能体强化学习的孪生世界信用分配
🧭 Agent RL 训练 · 反事实信用分配 ★ 深度解读
University of Sheffield · Carnegie Mellon University · University of Michigan
共享 Gumbel 噪声的孪生世界实现 turn 级反事实信用分配，方差降为 1−ρ 倍，7 个 QA 基准平均提升 5.3/4.5 点 EM
📌 工作参考价值（4 点）
- 在 LLM Agent 或多轮交互推荐中，固定检索/工具/打分等确定性组件，引入 keyed Gumbel noise 做 counterfactual rollout，评估某个 query 改写、工具调用或推荐 action 的增量收益；twin 共享下游噪声可把方差降为 (1−ρ) 倍，以更少样本判定方向。
- 预算分配采用「predicted discordance / cost」平方根规则：对分歧大且便宜的决策多分 twin，对必成功/必失败的 prompt/trajectory 少分；实际可用 logistic 模型预测分歧概率，配合 Horvitz-Thompson 加权保持无偏。
- 信用回传可组合：token-level advantage = trajectory-level GRPO advantage + 标准化 twin credit（A_t = A_traj + ω Â_t/σ̂），简单有效；在电商搜索 Agent 中可将最终成交/点击奖励回传给关键 query、是否继续搜索、最终回答等 action，减少好决策被失败 episode 误罚。
- 工程上 keyed noise 作为 logits processor 开销约 2%；self-twin 和 same-evidence shortcut 能省大量 auxiliary tokens；注意 live web/stateful API 需缓存或替换为确定性版本，否则耦合减弱但无偏性仍保留。